Tỉnh Hòa Bình được thành lập ngày 22 tháng 6 năm 1886 theo nghị định của Kinh lược Bắc Kỳ với tên gọi là tỉnh Mường, tách phần đất có người Mường cư trú từ các tỉnh Hưng Hóa, Sơn Tây, Hà Nội và Ninh Bình. Tỉnh lỵ đặt tại thị trấn Chợ Bờ (thuộc châu Đà Bắc) nên cũng còn gọi là tỉnh Chợ Bờ. Ngày 29 tháng 11 năm 1886, Tổng sứ Trung - Bắc Kỳ ra quyết định chuyển tỉnh lỵ về Phương Lâm (trước đó thuộc huyện Bất Bạt, phủ Quốc Oai, tỉnh Sơn Tây), tuy nhiên ít lâu sau lại chuyển về Chợ Bờ.

Ban đầu tỉnh gồm cả Mộc Châu, Yên Châu và Phù Yên Châu (tháng 7 năm 1888, cắt 3 châu này để nhập vào Đạo Quan binh thứ tư, sau thuộc Sơn La), cùng với vùng có dân tộc Mường thuộc hai châu Thanh Sơn và Yên Lập (tháng 10 năm 1888, cắt 2 châu này về tỉnh Hưng Hóa).

Sau cuộc tấn công bất ngờ của nghĩa quân Đốc Ngữ vào chợ Bờ đêm 29 rạng ngày 30 tháng 1 năm 1891, công sứ Pháp Rougery bị giết chết ở sở tại. Ngày 18 tháng 3 năm 1891, Toàn quyền Đông Dương ra nghị định chuyển tỉnh lỵ tỉnh Mường về làng Vĩnh Diệu, xã Hòa Bình (nằm ở tả ngạn sông Đà, đối diện với Phương Lâm) và đổi tên tỉnh thành Hòa Bình, nhưng vẫn duy trì nhiệm sở ở Chợ Bờ.

Đến ngày 5 tháng 9 năm 1896, tỉnh lỵ chính thức được chuyển về xã Hòa Bình. Tỉnh Hòa Bình khi đó có 6 châu: Kỳ Sơn, Lạc Sơn, Lạc Thủy, Lương Sơn, Mai Châu (châu Mai) và Đà Bắc.

Ngày 24 tháng 10 năm 1908, châu Lạc Thủy chuyển sang tỉnh Hà Nam, và đến ngày 1 tháng 12 năm 1924, một số xã của Lạc Thủy được nhập vào phủ Nho Quan thuộc tỉnh Ninh Bình. Công sứ Pháp đầu tiên là Regnier, phó sứ là Patrich.

Năm 1939, hợp nhất châu Mai (tức Mai Châu) và châu Đà Bắc thành châu Mai Đà.

Trong kháng chiến chống Pháp, Hòa Bình có 4 huyện: Lương Sơn, Kỳ Sơn, Lạc Sơn, Mai Đà, riêng huyện Lạc Thủy vẫn thuộc tỉnh Hà Nam, sau này mới trả về Hòa Bình. Ba huyện của Hòa Bình (Lương Sơn, Kỳ Sơn, Lạc Sơn) thuộc Liên khu 3, trong khi huyện Mai Đà lại thuộc Liên khu Việt Bắc từ tháng 11 năm 1949 cho đến ngày 9 tháng 8 năm 1950 mới trả về Liên khu 3.

Ngày 21 tháng 9 năm 1956, huyện Mai Đà chia thành 2 huyện: Đà Bắc ở phía bắc sông Đà và Mai Châu ở phía nam sông Đà.

Ngày 15 tháng 10 năm 1957, huyện Lạc Sơn chia thành 2 huyện: Lạc Sơn và Tân Lạc.

Ngày 17 tháng 4 năm 1959, huyện Lương Sơn chia thành 2 huyện: Lương Sơn và Kim Bôi.

Ngày 17 tháng 8 năm 1964, huyện Lạc Thủy chia thành 2 huyện: Lạc Thủy và Yên Thủy.

Ngày 27 tháng 12 năm 1975, tỉnh Hòa Bình hợp nhất với tỉnh Hà Tây thành tỉnh Hà Sơn Bình. Theo Nghị quyết của Quốc hội khóa VIII kỳ họp thứ 9 ngày 12 tháng 8 năm 1991, tỉnh Hà Sơn Bình tách ra thành 2 tỉnh Hòa Bình và Hà Tây. Khi đó tỉnh có diện tích là 4.697 km², với dân số 670.000 người, gồm thị xã Hòa Bình và 9 huyện: Đà Bắc, Mai Châu, Lương Sơn, Kỳ Sơn, Lạc Sơn, Lạc Thủy, Kim Bôi, Tân Lạc, Yên Thủy.[8]

Ngày 12 tháng 12 năm 2001, huyện Kỳ Sơn chia thành 2 huyện: Kỳ Sơn và Cao Phong.[9]

Ngày 27 tháng 10 năm 2006, chuyển thị xã Hòa Bình thành thành phố Hòa Bình.[10]

Ngày 1 tháng 8 năm 2008, 4 xã: Đông Xuân, Tiến Xuân, Yên Bình, Yên Trung thuộc huyện Lương Sơn được sáp nhập vào thành phố Hà Nội (nay thuộc các huyện Thạch Thất và Quốc Oai).[11]

Ngày 17 tháng 12 năm 2019, sáp nhập toàn bộ diện tích và dân số của huyện Kỳ Sơn vào thành phố Hòa Bình.....[12]